Optimal Self-Distillation for Rectified Flow via Linear Probing
整流流最优自蒸馏：线性探测下的闭式解与自动正则化校正
🧭 生成模型自蒸馏优化
University of Texas, Austin
提出整流流中通过混合真实与教师速度的自蒸馏可严格改进教师，并给出最优混合系数的闭式解
📌 工作参考价值（4 点）
- 若在生成式推荐（如扩散模型生成 item embedding）中遇到自蒸馏场景，可直接引用闭式最优混合系数，避免网格搜索，降低调参成本。
- 符号规则（正混合修正欠正则化，负混合修正过正则化）可作为诊断工具：根据教师模型的正则化状态决定合成数据与真实数据的混合方向。
- 一阶段 GCV 或验证调优方法可集成到训练流程中，自动决定合成/真实数据配比，提升生成样本质量。
- 理论保证的生成误差下降，对需要严格质量控制的下游业务（如广告创意生成）具有可靠性的参考价值。